Repository navigation
feature: dedup por news.content_key no entityCoverage e Article.contentKey (GQL-1b) — só após a migração 035 - #33
Merged
Conversation
…content_hash (red)
…ontent_hash (green)
…tiva do dedup (red)
…efetiva do dedup (green)
…icle.contentKey e dependência da migração 035
…da 035 ou após rollback) (red)
…a coluna (green) Desacopla o deploy da ordem da migração 035: antes dela (ou depois de um rollback dela) o entityCoverage usa a chave por hash exato em vez de falhar, o que derrubaria também get_entity_profile e get_policy_lifecycle do gobus. A sonda vai ao catálogo no máximo a cada 5 min por instância; um 42703 com o cache positivo refaz a query pela chave por hash. Comentário de _CONTENT_DEDUP_KEY_SQL registra o contrato com o DP-1b: mesmo content_hash implica mesma content_key.
…esmo hash ⇒ mesma chave com o DP-1b
nitaibezerra
force-pushed
the
feature/content-key-dedup
branch
from
October 22, 2026 05:38
1d67e35 to
a2f055d
Compare
nitaibezerra
changed the base branch from
feature/rede-ego-lift-url-flesch-ptbr
to
main
October 22, 2026 05:38
nitaibezerra
marked this pull request as ready for review
October 22, 2026 05:40
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Caution
Ordem de deploy: a migração 035 do data-platform (
news.content_key) precisa estar aplicada ANTES do merge.O merge na
maindispara o deploy automaticamente (deploy.yaml, push emsrc/graphql_api/**), então mergear = colocar no ar.Estado em 22/10 (conferido em modo somente leitura):
migration_historyid 56, 02:11Z);content_key, 12.467 grupos;8bd6b0d) e #212 (DP-1c) namain.Rede de segurança: se a ordem for outra, o serviço não quebra. O
entityCoveragesonda a coluna no catálogo (no máximo a cada 5 min por instância) e, sem ela, usa a chave por hash exato. Sem essa sonda, o_ENTITY_COVERAGE_SQLfalharia para todos os clientes, peçam elesuniqueContentCountou não, porque a janela do dedup é sempre calculada. Cairiam junto os toolsget_entity_profileeget_policy_lifecycledo gobus.Important
Contrato com o DP-1b: mesmo
content_hash⇒ mesmacontent_key. Em produção ele vale quase sempre, mas não sempre. A correção fica no data-platform (data-platform#213).O H5 sozinho não garante que hash igual dê chave igual: o E1 exige conteúdo com 30 palavras ou mais e Δt de até 7 dias, e o E2 exige título com 4 tokens ou mais, fora da lista de exclusão. O #211 entrou sem o passo de "unir por
content_hashantes do H5".Medido em produção depois da 036 (somente leitura, 22/10): dos 407 grupos de
content_hashrepetido (829 artigos), 19 grupos (44 artigos) ficam com 2 chaves efetivas. São 19 contagens a mais no corpus inteiro. Quase todos são recapturas distantes do mesmo órgão (por exemplo, o MDS recapturou em 2026-06-04 matérias de 2023–2025), e numa janela mensal o efeito é de +1 em poucas células.Decisão (22/10): mergear assim mesmo.
ARTICLE_CONTENT_KEY_SQLdo grafo (entity_stats/entity_edges) já está em produção com a mesma expressão. Mergear deixa a API consistente com ele; corrigir só na leitura faria as duas divergirem.Note
Rebase feito (22/10): depois do squash do #32 (
ca32127), o branch foi rebaseado comgit rebase --onto origin/main dfef051 feature/content-key-dedup. Odfef051era o head do #32, com árvore idêntica aca32127. São os mesmos 10 commits, sem conflito e com a árvore final idêntica à de antes do rebase. A base do PR agora é amain.Resumo (GQL-1b)
O hash exato (
content_hash) quase não junta republicações entre órgãos. Cada órgão reescreve as URLs de imagem e de link, então o mesmo texto quase nunca é idêntico byte a byte (Pé-de-Meia 189→189, INSS 371→370). O DP-1b crianews.content_key, a chave de quase-duplicata (regra H5: recall de 92% e precisão de 99% entre órgãos). Este PR troca a chave do lado da API._CONTENT_DEDUP_KEY_SQLpassa aCOALESCE(n.content_key, n.content_hash, ne.unique_id).content_keyé ounique_iddo artigo-líder do grupo.uniqueContentCountnunca ficaria maior que o do dedup por hash. Hoje há 19 exceções no corpus (data-platform#213).unique_iddo líder. Os dois contam à parte por até 6h.unique_iddo líder contra hash de 16 hex.uniqueContentCount) não muda. É a mesma definição doARTICLE_CONTENT_KEY_SQLdo data-platform, que alimentaentity_statseentity_edges._news_has_content_key): desacopla o deploy da ordem da migração.pg_attribute(attrelid = to_regclass('news')) no máximo a cada 5 min por instância._ENTITY_COVERAGE_SQL_SEM_CONTENT_KEY, que é o mesmo SQL com a chave por hash.42703é pego, a query é refeita com a chave por hash e o cache é invalidado. Qualquer outro erro (ou um42703no SQL legado) sobe normalmente.falseparacontent_keyetrueparacontent_hash.Article.contentKey: String(novo, nulável): a chave de conteúdo efetiva, com a mesma precedência (content_key, depoiscontent_hash, depoisunique_id)._content_dedup_key) a partir don.*que oentityArticlesjá lê. Por isso não exige a coluna: antes da 035, cai nocontent_hash.entityArticles.articles,search,article,relatedArticlesetc.) o campo énull, porque o índice ainda não tem a chave.uniqueContentCounteuniqueContentWeight(entity,relatedEntities,entityNetwork,entityCoverage) agora falam em "mesma chave de conteúdo" em vez de "mesmo content_hash". As deentity_stats/entity_edgessó ficam exatas depois que a DAG do grafo rodar com oARTICLE_CONTENT_KEY_SQLnovo do DP-1b.docs/datasources.mdexplica a ordem com a 035, a sonda, o contrato com o DP-1b e a janela transitória.docs/exemplos.mdganhou um exemplo comcontentKey. O SDL de referência foi regenerado.Schema (diff do SDL)
A mudança é aditiva: nenhum campo ou argumento foi removido ou renomeado. As operações do portal não são afetadas.
Testes
pytest: 665 passaram.ruff check src tests: limpo.mkdocs build --strict: ok.entityCoveragecom a precedênciacontent_key→content_hash→unique_id;Article.contentKey: quatro casos de fallback, incluindo a linha sem a coluna (antes da 035), mais oentityArticlesponta a ponta pelo schema e o SDL nulável e documentado;tests/datasources/test_postgres_entity_coverage_content_key.py), com estes casos:content_key;42703no SQL legado sobe;entityCoveragefoi executado em produção, em modo somente leitura (BEGIN READ ONLY … ROLLBACK), comcontent_keysimulado comoNULL(Q155, 01–07/10, granularidade dia). A sintaxe vale e o resultado é igual ao do hash exato, como esperado antes do backfill.Ordem de deploy
news.content_key TEXT NULL), seguidos do backfill da chave (036) e da tarefacompute_content_keysna DAG do grafo. Tudo isso já está feito (22/10). A união porcontent_hashantes do H5 fica para o data-platform#213 (ver o bloco IMPORTANT).main, se o feature: rede ego-centrada, lift/articleCount, dateTo exclusivo no entityCoverage, url no ArticleSummary e Flesch pt-BR (GQL-1) #32 já tiver sido mergeado, e mergear: o deploy é automático.news.content_key presentena revisão nova;entityCoverage(entityId: "Q155", dateFrom: "2026-10-01", dateTo: "2026-10-08", granularity: DAY)sem erro;entityArticles(entityId: "Q155") { articles { uniqueId contentKey } }comcontentKeynão nulo;gobus_get_entity_profileegobus_get_policy_lifecyclerespondendo.Rollback
COALESCE(n.content_hash, ne.unique_id)e ocontentKeysai do schema. A coluna pode ficar.DROP COLUMN): só depois de reverter este PR. O que fica no ar sem a coluna é oentityCoverage, e com eleget_entity_profileeget_policy_lifecycledo gobus.DROPpega o42703, refaz pela chave por hash e passa a usar o SQL legado.Article.contentKeyusarow.get, então não depende da coluna em nenhuma das ordens.Follow-ups (fora deste PR)
content_hashantes do H5, com teste e novo backfill (bloco IMPORTANT). Não bloqueia mais este PR (decisão de 22/10).content_keyno Typesense e trocar ogroup_bydodedup: truedecontent_hashpara ele. Depois disso, preencherArticle.contentKeytambém nos caminhos do Typesense.contentKeyno "também publicado por: …".uniqueContentCountdas 50 maiores entidades num mês anterior ao defeso, depois do backfill. Conferir também que nenhuma entidade ficou comuniqueContentCountmaior que o do dedup por hash.🤖 Generated with Claude Code